Eleanor Rosalynn Smith chào đời tại thị trấn Plains, tiểu bang Georgia, là con đầu trong gia đình có bốn người con của Frances Allethea "Allie" Murray (1904-1997), thợ may, và Edgar Smith (1896-1940), thợ máy xe hơi và nông dân.Khi Rosalynn 13 tuổi, cha cô qua đời và cô phải giúp mẹ chăm sóc các em cũng như trong công việc may vá hầu có thể đáp ứng các nhu cầu của gia đình. Cô tốt nghiệp thủ khoa trường Trung học Plains, rồi theo học tại Đại học Georgia Southwestern.